同步数据至Kafka时如何增加或删除已运行任务的同步表_大数据开发治理平台 DataWorks(DataWorks)-阿里云帮助中心

同步数据至Kafka解决方案为您提供了一键增加及删除同步表功能，方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。本文为您介绍如何增加或删除已运行任务的同步表。

前提条件

已创建并运行同步数据至Kafka解决方案的任务，详情请参见一键实时同步至Kafka。

同步任务新增表

在解决方案任务列表页面，选择目标同步任务后的更多 > 修改配置，进入任务配置页面。

新增同步源表并更新源表至目标表的映射关系。

在设置同步来源和规则页面的选择同步的源表区域，选中需要新增的同步源端库表，单击图标，将其移动至已选库表。
单击下一步。
在设置目标表页面，单击刷新源表和Kafka Topic映射，更新需要同步的源表和目标Kafka Topic的映射关系。

查看任务的执行进度和表来源。查看任务进度

序号	描述
①	显示映射关系的创建进度。说明如果同步的表数量较多，会导致执行进度较慢，请耐心等待。
②	勾选支持源表无主键同步后，源表没有主键，也可以向下游同步，但是同步数据时不会进行去重。勾选发送心跳记录后，实时同步任务将每隔5秒往Kafka中写入一条带有当前时间信息的记录。这样即使源端没有读取到新数据，Kafka中最新数据的时间信息也会持续更新，您可以根据Kafka中读取到的最新数据的时间判断实时同步的进度。
③	如果来源库有主键，同步数据时会直接使用该主键进行去重。如果勾选支持源表无主键同步，那么源表没有主键，您需要单击图标，自定义主键，即使用其他非主键的一个或几个字段的联合，代替主键进行同步数据时进行去重判断。
④	包括使用已有Topic和自动建Topic。
⑤	选择的Topic建立方式，取值如下：当Topic建立方式选择使用已有Topic时，Kafka Topic列显示自动创建的Kafka Topic名称。您也可以在下拉列表中选择需要使用的Topic名称。当Topic建立方式选择自动建Topic时，显示自动创建的Kafka Topic名称。您可以单击Topic名称，查看和修改建Topic名称和注释。
⑥	在批量编辑目标Topic附加字段表单中给目标Kafka Topic增加字段。也可以单击操作列的编辑附加字段进行单表附加字段的设置。说明批量修改仅针对Topic建立方式选择自动建Topic的Topic生效。

单击下一步。

运行资源设置。

在运行资源设置页签，配置各项参数。

离线全量同步

参数	描述
离线任务名称规则	全量同步时的离线任务名称。创建解决方案后，会先生成一个离线任务用于同步全量数据，再生成实时任务实时同步增量数据。
全量离线任务资源组	运行全量离线任务需要使用的独享数据集成资源组。目前解决方案仅支持使用独享数据集成资源组，此处可配置为准备操作中已购买并配置的独享数据集成资源组，详情请参见资源规划与配置。说明如果您没有购买独享资源组，可单击+新建独享资源组，创建新的独享资源组。

离线全量调度

参数	描述
选择调度资源组	选择运行任务时使用的调度资源组。目前解决方案仅支持使用独享调度资源组，此处可配置为准备操作中已购买并配置的独享调度资源组，详情请参见资源规划与配置。说明如果您没有购买独享资源组，可单击+新建独享资源组，创建新的独享资源组。

实时增量同步

参数	描述
选择实时任务独享资源组	选择运行实时任务时需要使用的独享数据集成资源组。目前解决方案仅支持使用独享数据集成资源组，此处可配置为准备操作中已购买并配置的独享数据集成资源组，详情请参见资源规划与配置。说明如果您没有购买独享资源组，可单击+新建独享资源组，创建新的独享资源组。

通道设置
参数
描述
来源端读取支持最大连接数
读取端的最大连接数，即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。默认为20。

单击完成配置，返回解决方案任务列表页面。
单击上述修改任务操作列的更多 > 提交执行在提交执行对话框，单击确定，运行当前任务。
提交执行任务时，会和上一次运行成功的任务对应的表做对比，当发现新增表时则会执行新增表的添加流程。
说明
重置实时同步任务位点并启动运行时，会存在一个新增表追加变更数据的过程，即任务位点时间重置到新增表全量数据初始化时的时间。例如，您的同步任务8点开始运行，到9点时运行未结束。9点时新增了一张表，则全量数据初始化在9点开始执行，此过程耗时1小时，即全量数据初始化在10点完成。此时，已经正在运行的实时同步任务会先停止，然后重置任务位点到9点，进行追加增量数据，9点到10点之间所有变更表的增量数据会被重新同步至Kafka目标表，一键新增表只保证数据的最终一致性。
查看同步任务新增表详情。
1. 进入任务列表页面，单击目标任务操作列的执行详情，进入任务的执行详情页。
2. 在执行步骤区域，单击显示增减表后的执行详情。
  显示增减表的状态为成功时，表明新增的表已成功添加至同步任务。
3. 查看同步任务新增的同步表。

同步任务删除表

在解决方案任务列表页面，选择目标同步任务后的更多 > 修改配置，进入任务配置页面。

删除同步源表并更新源表至目标表的映射关系。

在设置同步来源和规则页面的选择同步的源表区域，选中需要删除的已选库表，单击图标，将其移回至源端库表。
单击下一步。
在设置目标表页面，单击刷新源表和Kafka Topic映射，更新需要同步的源表和目标Kafka Topic的映射关系。

查看任务的执行进度和表来源。查看任务进度

序号	描述
①	显示映射关系的创建进度。说明如果同步的表数量较多，会导致执行进度较慢，请耐心等待。
②	勾选支持源表无主键同步后，源表没有主键，也可以向下游同步，但是同步数据时不会进行去重。勾选发送心跳记录后，实时同步任务将每隔5秒往Kafka中写入一条带有当前时间信息的记录。这样即使源端没有读取到新数据，Kafka中最新数据的时间信息也会持续更新，您可以根据Kafka中读取到的最新数据的时间判断实时同步的进度。
③	如果来源库有主键，同步数据时会直接使用该主键进行去重。如果勾选支持源表无主键同步，那么源表没有主键，您需要单击图标，自定义主键，即使用其他非主键的一个或几个字段的联合，代替主键进行同步数据时进行去重判断。
④	包括使用已有Topic和自动建Topic。
⑤	选择的Topic建立方式，取值如下：当Topic建立方式选择使用已有Topic时，Kafka Topic列显示自动创建的Kafka Topic名称。您也可以在下拉列表中选择需要使用的Topic名称。当Topic建立方式选择自动建Topic时，显示自动创建的Kafka Topic名称。您可以单击Topic名称，查看和修改建Topic名称和注释。
⑥	在批量编辑目标Topic附加字段表单中给目标Kafka Topic增加字段。也可以单击操作列的编辑附加字段进行单表附加字段的设置。说明批量修改仅针对Topic建立方式选择自动建Topic的Topic生效。

单击下一步。
单击完成配置，返回解决方案任务列表页面。
单击上述修改任务操作列的更多 > 提交执行在提交执行对话框，单击确定，运行当前任务。
删除已运行同步任务中的源表时，会将目标源表从实时同步任务中移除。重新提交执行同步任务时，会直接在重启同步任务的时间点继续同步数据。
查看同步任务删除表详情。
1. 在执行步骤区域，单击显示增减表后的执行详情。
  显示增减表的状态为成功时，表明目标源表已成功从同步任务中删除。
2. 查看此次执行任务删除的同步表。

参数	描述
来源端读取支持最大连接数	读取端的最大连接数，即来源端数据库的JDBC连接数。请根据数据库资源的实际情况合理配置。默认为20。